МИГРАЦИИ МЕЖДУ СХЕМАМИ И ОБНОВЛЕНИЯ В MYSQL “% 0 
МЕХАНИЗМЫ, БЛОКИРОВКИ, НАГРУЗКИ E 4 


НИКОЛАЙ ИХАЛАЙНЕН + - 
PERCONA 


Hr Ненова - i 
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в + + + + 
+ + + + + 
+ + + + + 
+ + + + + 


О ЧЕМ ЗТОТ ДОКЛАД 


е зачем менять структуру 
е schema / schemaless 

e Online БОГ 

e pt-online-schema-change 
е gh-ost 

е Репликация и кластеры 


А Highl сас+ 
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ЗАЧЕМ МЕНЯТЬ СТРУКТУРУ БАЗЫ ДАННЫХ 


CREATE INDEX: делать запросы быстрее 
ADD FOREIGN КЕҮ/СНЕСК: больше целостности, делать запросы медленнее 
Новая версия приложения: 
" ADD COLUMN 
= CHANGE COLUMN 
= RENAME COLUMN/INDEX 
CONVERT/ ... CHARACTER SET ... 
= миграция на UTF8/UTF8MBA 
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ЗАЧЕМ? УДАЛИТЬ НЕНУЖНОЕ 


e FORCE/ENGINE=InnoDB: дефрагментация 
e DROP INDEX, DROP COLUMN: удалить ненужное 
e ADD/DROP/REORGANIZE/EXCHANGE PARTITIONS: ротация RaHHbIX 


А Highl сас+ 
(HL) ο. дети 


ЗАЧЕМ? ОРГАНИЗАЦИЯ ДАННЫХ 


е ЕМСКУРПОКЕ< У 
e [ABLESPACE 
e COMPRESSION 
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СЛОЖНОСТЬ 


е Изменение схемы — другой формат хранения данных на диске 
= Каждую строчку надо поменять 
= Иногда в нескольких таблицах (FOREIGN KEYS) 

• Большое количество изменений 
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РЕЛЯЦИОННАЯ СХЕМА 


е Каждая колонка 
m ОДИН тип данных (INT, BIGINT, VARCHAR, BINARY, ...) 
= дублируется в других таблицах 

• Изменение класса в приложении 
= заставляет менять много таблиц в БД 
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ДОКУМЕНТЫ 


JSON/BSON 
Меньше "таблиц" 
= Документы содержат массивы 
Приложение должно работать со старыми и новыми документами 
Индексы все равно нужны 
" Надо делать новые/удалять при изменении структуры документа 
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ДОКУМЕНТЬ! C МАССИВАМИ 


CREATE TABLE customers | 
за БІСІМТ NOT NULL τ OI КЕЛЕТ PRIMARY KEY, 
modified DATETIME DEFAULT CURRENT TIMESTAMP ON UPDATE CURRENT TIMESTAMP, 


custinfo JSON 
) Я 
ALTER TABLE customers ADD INDEX zips( (CAST(custinfo->'S.zipcode' AS UNSIGNED 


SELECT id FROM customers WHERE 94568 MEMBER OF(custinfo-»'S$.zipcode!); 


SELECT id FROM customers WHERE 94568 MEMBER OF(custinfo-»'S$.zipcode[*]'); 
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ВАЛИДАЦИЯ JSON-HOKYMEHTOB 


CREATE TABLE део ( 
coordinate JSON, 
CHECK ( 
JSON SCHEMA VALID( 
| 
"руре а Бе сы"; 
"properties":Íí 


Е ЕСЕ Ee NI T о ЛИ ПОРИ 90), 
а тие пето ов Inner m oTt КОО ие, 


|, 
ткеситкест у Тава тоде 3 Лопта tuden] 
Ва, 


соогатпаге 
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MYSQL X 


e X DevAPI 
e X Protocol 
e X Plugin 


А Нынісзаы 
(HL) ο. 


Туре '\help' 
MySQL JS > 
Uc EU > 
MySQL 75 > 


MYSQL - ДОКУМЕНТООРИЕНТИРОВАННАЯ БД 


ев МАУС поела лаа νε 156 а 

veir tect Conn = ucc 

var session = mysal. gertcgession (nostc: "Localhost", users "roor", password: "secret", Port: 330607) 7 
в a e On тее ea е е: 


«Collection:people-» 


MySQL JS > 


овес ео ево е Ноа Scc Мае DEIN COMME 


Query ОК, 1 item affected (0.2049 sec) 


S ον з 


το ει «ος πιο ое Ol Dl л Di ne “οτε, и оцени ~ NUM yl ра 


Query ОК, 1 item affected (0.1156 sec) 


++ 
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СЛОЖНОСТИ БЕЗ СХЕМБ! 


е Только функциональные индексы 
= Легко ошибиться в именах полей 
e Данные неожиданного типа 
и ждём целое число, в данных ћех-строка 
= помогает: Валидация 
е Денормализованные данные: 
= где правильное поле? 
s "распухание" размера БД 
= помогает: думать документами, а не объектами 
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ОБНОВЛЕНИЕ ПРИЛОЖЕНИЯ 


е Приложение должно 
= работать с документами всех возможных версии 
= Обновлять версию документа 
о Переход на другой тип данных 
о Удалять/добавлять поля 
е Нельзя удалить старый индекс до конца миграции 
е Новые индексы надо добавлять 
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БЕЗ СХЕМЫ: ЛЕГКО 


е добавлять новые поля 
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МИГРАЦИИ МЕЖДУ СХЕМАМИ B РЕЛЯЦИОННОЙ БАЗЕ 


е Найти разницу между боевой и тестовои базой 
е Составить запросы ALTER TABLE 
• "Выключить базу" 
= или снизить нагрузку 
e Накатить изменения 
• Обновить приложение 
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СЛОЖНОСТБ: РЕЛЯЦИОННАЯ БД 


е Физическая структура строки близка K структуре таблицы 
• Блокировки на уровне 

= всей базы данных 

« таблицы 

= строки 
е Параллельная работа разных запросов 
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METADATA LOCKS 


e Активные транзакции, которые 
= видели старую таблицу 
o читали через SELECT 
о писали через INSERT/UPDATE/DELETE 
= SHARED LOCK 
e ALTER TABLE: 
= EXCLUSIVE LOCK 
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СРАВНЕНИЕ СХЕМ: MYSQLDIFF 


e https://metacpan.org/pod/distribution/MySQL-Diff/bin/mysqldiff 
е работает 

= даже c generated columns 
• проблема C количеством цифр B bigint: 


my Edi í E 
customers N 


AUTO INCREMENT; \ 
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| 9 


СРАВНЕНИЕ СХЕМ: MYSQLDIFF ИЗ MYSQL-UTILITIES 


е mysql-utilities больше не поддерживаются 

е последняя версия требует python2 и старый тузді.соппесіог 
е B mysqlsh нет поддержки diff, плагина тоже нет 

е неработает с MySQL 8.0: 


о МУЗОТаЕЕЕ вепмек!|- косо: зеске 10 :218.29: 5594 
--server2-root:secret8010.218.29.6066 


ERROR: Query failed. 1146 (42502): Table 


'  HighLoade 
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MYSQL WORKBENCH SCHEMA TRANSFER WISARD/MIGRATION WISARD 


Не работают c mysql 8.0 


Traceback (most recent call last): 
File "/usr/share/mysql-workbench/libraries/workbench/wizard progress page widget.py", line 197, in thread work 
зе ес ТІГІС ( 
File "/usr/lxb64/mysql-workbench/modules/migration object mrgration.py", line 117, іп task migrate 
зе| в main. plan- migrace () 
File "/usr/lib64/mysql-workbench/modules/migration.py", line 510, in migrate 
self.migrationTarget.catalog = 


self magratronsourcesmrgratron.mrgrateCatalog(selt-.state зе шпоакаттопбошитсе. сава тоа) 
SystemError: AttributeError("'NoneType' object has no attribute 'name'"): 
его са о Python после Рош том" Рому Ол Мета Еол завеса ва код 
ERROR: Migrate Selected Objects: AttributeError("'NoneType' object has по attribute 'name'"): 
error calling Pychon поспе тате ©й "РОМ В ОЛиМл: се Ел от. па сеавеСавајо 
Failed 
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РУЧНОЕ СРАВНЕНИЕ БАЗЫ ДАННЫХ 


иска о ОЕ: \ 
== -gtid-purged-OFF --triggers --routines --events \ 
= = 5 =з о -- ο σεν ος ο x 


== = c G hi με. 
оо ооо T p L ен ep lu Ji а S \ 
== ә О 2L ο.» 
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РУЧНОЕ СРАВНЕНИЕ БАЗЫ ДАННЫХ 


S bo egg << шем 525) (те све) 
5ο jun ИО По i εμας ο ο ο τος Па 55 ον 


== Hospes 216 ο 66 Database: test 
t-- Server version ο ТІЛІ 
CREATE, TABLE customers ( 


л i li iii (D Е UTOTT ЕНІМ ШЕ, 
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КАК ПРИМЕНИТЬ ИЗМЕНЕНИЯ? 


• Все сразу 
• Табличка за раз 
• Одно изменение за раз 
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ВСЕ СРАЗУ 


удалить все данные 

создать таблицы с новой структурой 

восстановить данные из резервной копии 

полезно, если: 
= меняется тип FOREIGN KEY и много дочерних таблиц 
= меняются тысячи маленьких таблиц 
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ТАБЛИЧКА ЗА РАЗ 


e Собрать все изменения таблицы в ОДИН ALTER 


αι στο... 
πα πι πω modified, 7 


ΠΟ, MU 


е Самый зффективньи способ работы 
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ОДНО ИЗМЕНЕНИЕ ЗА РАЗ 


е ниже эффективность 
е удобно для разработки 
е необходимо в тестах производительности 
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ALTER TABLE ALGORITHM-... 


e COPY 
e |МРГАСЕ 
e INSTANT 


' HighLoade 
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ALTER TABLE ALGORITHM=COPY 


заблокировать все операции Han таблицеи 


создать временную таблицу в директории с базой данных 


копировать данные 
поменять местами таблицы, удалить старую таблицу 
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PERFORMANCE SCHEMA 


ALTER TABLE tl FORCE, ALGORITHM=COPY; 

БЕСЕ ЕЕ IS ETE S ~ (S ла гб S mp аса Sou MEI OC 
и r виса το: см6 не те а та Пре su Ri 255 1 ата Пе о O Me 
τ ΟΞ; 


445573 stage/sql/starting СОЕ ЕСО и ево зчке cc 
445577 stage/sql/Executing hook оп transaction begin. тр а ет cce 

4455718 stage/sql/starting та О лз сс. 0 

445580 stage/sql/checking permissions За с πιο ы S 208 

445581 stage/sql/checking permissions ο authorization ος. 2000 

445582 stage/sql/init са песто co S 

445584 stage/sql/Opening tables = а траве се 5 (А 
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PERFORMANCE SCHEMA 
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УРОВЕНЬ ФАЙЛОВ 


290824 
τι ο τος 


| 226492416 
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УРОВЕНЬ ФАЙЛОВ 


е Нет свободного места в директории базы данных? 
= ALTER вызовет ошибку 

е Выполнилось на слейве? 
= ошибки репликации 
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ALTER TABLE ALGORITHM=INPLACE 


заблокировать DDL и DML над таблицеи 
разблокировать и записьвать все изменения DML в файл 
= расположенный в іппоар tmpdir 
= размером не больше innodb online alter log max size байт 
читать данные из таблицы из PK 
сортировать данные (делаем индекс) 
вставить отсортированные данныев таблицу (b-tree) 
сбросить все модифицированные страницы табличного пространства на диск 
применить лог к новому индексу 
получить эксклюзивную блокировку на изменение таблицы 
обновить метаданные 


А Highl сас+ 
(HL) ος άρον | 


PERFORMANCE SCHEMA 


ALTER TABLE tl FORCE, ALGORITHM-INPLACE; 
select EVENT ID,EVENT NAME, SOURCE from events stages history long N 
where thread 14-47 and event id between 1796 and 444589 N 

lov. еме 0 οσα 


stage/sql/System lock Пе ае ес ВВ а 
stage/sql/preparing for alter table οἱ варте се: 12948 
stage/sql/altering table sdl 210182 022100005 


++ 


HL High | сас++ 
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2923 
404887 
441786 
441836 


441837 
441847 
444589 


PERFORMANCE SCHEMA 


stage/innodb/alter table (read PK and internal sort) ust σας в: 213 
stage/innodb/alter table (flush) utOstage.h:425 
stage/innodb/alter table (log apply table) utOÜstage.h:425 
stage/sql/committing alter table to storage engine Ξε. вое 
stage/innodb/alter table (end) ütûstage.h:425 
stage/innodb/alter table (log apply table) utO0stage.h:425 
stage/sql/end Е и 


++ 


НІ. 
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Весна 2021 


INPLACE ALTER TABLE FORCE 
До alter table 


mysql 226492416 t.ibd 


Во время 


mysql 255852544 4sqgl-ib1064-3964883563.ibd 
mysql 226492416 t.ibd 


Размер после 


mysql 255852544 t.ibd 
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INPLACE ALTER TABLE: ALTER TABLE (FLUSH) 
e размер временного файла не меняется 


е происходит запись модифицированных страниц на диск 


mysql» SELECT EVENT NAME, WORK COMPLETED, WORK ESTIMATED \ 
FROM performance schema.events stages 

πο ο τα... A dee s ο ο 
| ВВ ТОЕ 

+ ο ο ο ο = _r = n o m m реа 


current; 


---------------- %----------------- 
WORF СОМЕН | ПОҚ ΕΘΙΜΟ | 


| stage/innodb/alter table (flush) 
+ я я Е SS у Е Е E 
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INPLACE СОЗДАНИЕ ИНДЕКСА 


е временный (файл не нужен 
е существующая таблица растет в размерах 


mysql» ALTER TABLE t ADD КЕУ (С), ALGORITHM-INPLACE; 
# До ALTER TABLE 


E a 5 Ш две πο. “28525 Е а 


# Bo время ALTER TABLE 
на u r στο 5 dE поене о 0 πο ο ο πα 


А HighLoad« 
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INPLACE REBUILDS TABLE 


e Rebuilds Table: Yes 
e Rebuilds Table: No 
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ALTER TABLE ALGORITHM=INSTANT 


mysql» ALTER TABLE t ADD COLUMN c2 ІМТ DEFAULT 0, ALGORITHM-INSTANT; 
зо. edis ове Б NU ii Hi is СОО том u nb for G fia nor То 1 
пе ен lir (0-47) οπο πε 10 Derren eno 2 i e ο РА Шол а епа су == пе д 
ЛЫП | | im pi NAME | SOURCE 
18482231 | stage/sql/Opening tables о а Пра се e on аА 
18482306 | stage/sql/setup С а = сс 22 
18482384 | stage/sql/creating table | вой оне ο 515 
18482385 | stage/sql/After create есе ва Ген co oS 
18482392 | stage/sql/System lock аа ec 152 
18482398 | stage/sql/preparing for alter table | за! твар е лос 12944 
18482399 | stage/sql/altering table есе оо о οο 55006 
18482468 | stage/sqgl/committing alter table to storage engine | sql table.cc:13048 
18484410 | stage/sql/end а лр е cost ou 


| оаа++ 
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ALTER TABLE ALGORITHM=INSTANT 


e ADD COLUMN 

= KpoMe ROW_FORMAT=COMPRESSED 

= кроме таблиц с FULLTEXT 
е поменять/удалить значение колонки по умолчанию (DEFAULT ...) 
е Изменить ENUM или SET 


А Highl сас+ 
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MARIADB 


е получили Опіїпе DDL из MySQL 5.6 в наследство 
е начали реализовывать алгоритм INSTANT в 2017 (10.3) 
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MARIADB: INSTANT 


ΠΕΓΙΞΠΡ, вез ВЕТ SESSION а ега стоте ша" ΠΡΙ; 
Маттарв [performance зспеша| select EVENT NAME,SOURCE from events stages history long | 
where thread id-16 and event id » 157 order by event id asc; 
EVENT NAME | SOURCE | 
stage/sql/System lock | | 
stage/sql/table lock | | 
stage/sql/After create | | 
stage/sql/preparing for alter table | | 
stage/sql/altering table | | 
stage/sql/Committing alter table to storage engine | | 
| | 


| 
| 
| 
| 
| 
| 
| 
| stage/sq1/Unlocking tables 
26 rows in set (0.002 sec) 
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MARIADB: INSTANT 


отлично работает 
можно менять значение поля по умолчанию (DEFAULT) 
можно менять размеры уагсһаг, если не меняется поле длины 
= уагспа( 10), длина 1 байт 
= varchar(300), длина 2 байта 
можно добавлять/удалять колонку (кроме AUTO INC) 
можно изменить AUTO INCREMENT 
переименовать колонку 
менять порядок колонок 
новые значения ENUM и SET 
удалить индекс 
удалить ЕК 


' Ñ Highl сас+ 
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MARIADB: NOCOPY 


MariaDB |Тез+ | > сриват eon 
Query ОК, 0 affected (0.000 sec) 


еа pa [eee] Е (аи 
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MARIADB: NOCOPY 


MariaDB [performance schema]> select ЕМЕМТ NAME from events stages history long N 
ill + Cures! IC 240 Φα 16 - 209205052 ної СА? сети по север 
| ЕУЕМТ МАМЕ 


stage/sql/altering table 
stage/innoqb/alter table (read PK and internal sort) 
stage/innodb/alter table (merge sort) 
stage/innodb/alter table (insert) 

stage/innodb/alter table (log apply index) 
stage/sql/Committing alter table to storage engine 
stage/innodb/alter table (end) 


stage/sql/Unlocking tables 


| 
| 
| 
| 
| 
| 
| 
| 
οἱ rows іп сес (0.005 56e) 
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MARIADB: NOCOPY 


е KaK ALGORITHM=INPLACE B MySQL, To He перестраивает табличку 
° зто не новьи режим 
и зквивалент ALGORITHM=INPLACE Rebuilds table: Мо 
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MARIADB: INPLACE 


Мене = ire πο сле 5 ΜΕ R ШӨЛІ ке 2 ] jo II m 
Query ОК, 0 rows affected (0.000 sec) 


MariaDB [test]> alter table t engine=innodb; 
Query OK, 0 rows affected (27.063 sec) 
Records: 0 Duel eques NEU nr 0 
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MARIADB: INPLACE 


Мааа ji [езшш ае j асе шлш пиши гісі v nb for je еа n x 
waere carea 12-16 ond event 10 ОО НОМ oret by orent eue 


stage/sql/System lock 

stage/sql/table lock 

stage/sql/After create 

stage/sql/preparing for alter table 
stage/sql/altering table 

stage/innodb/alter table (read PK and internal sort) 


++ 
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stage/innodb/alter 
stage/innodb/alter 
stage/innodb/alter 
stage/innodb/alter 
stage/innodb/alter 
stage/innodb/alter 
stage/innodb/alter 


table 
table 
table 
table 
table 
table 
table 


merge sort) 
insert) 

merge sort) 
insert) 

merge sort) 
insert) 

(log apply table) 


( 
( 
( 
( 
( 
( 


MARIADB: INPLACE 


stage/sql/Committing alter table to storage engine 


stage/innodb/alter 
stage/innodb/alter 


table 
table 


(end) 
(log apply table) 


stage/sql/Unlocking tables 


36 Ows іп вес (0. 005 see) 
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MARIADB: INPLACE 


• создает большои временньи фаил с новои таблицеи 
е ENGINE=InnoDB делает merge sort + insert для каждого вторичного индекса 
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MARIADB: COPY 


Мамеа сце) πο t БУС оп уз ош tern с eor - 
Query ОК, 0 rows affected (0.000 sec) 


MariaDB ес alter зар ел modify © Four rehar(]0 DEPAULIM с NOT NULL, 
ERROR 1406 (22001); Daca too long ror ο) титан ο at row 1 
MariaDB itest] alter table г modify с varchar (1000) DEFAULT ο NOP NULL; 


++ 


НІ. 
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MARIADB: COPY 


MariaDB [performance schema]> select EVENT NAME from events stages history long N 
ис еы 12-16 mno covent 46 - 211917082 oer EN! eem 19 ses 

EVENT МАМЕ | 
stage/sql/System lock 
stage/sql/table lock 
stage/sql/After create 
stage/sql/copy to tmp table 
stage/sql/Enabling keys 
stage/sql/Rename result table 
stage/sql/Unlocking tables 


| 
| 
| 
| 
| 
| 
| 
stage/sql/Rename result table | 
| 
| 


stage/sql/Query end 


| 
| 
| 
| 
| 
| 
| 
| 
| 
| stage/sql/End of update loop 
| 
26 кома in ser (0. 0093 sec) 
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MARIADB: COPY 


е какив MySQL 
е создаёт новое табличное пространство (файл * . іра) 
е копирует данные под полной блокировкои 
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ПРОИЗВОДИТЕЛБНОСТБ 
е sysbench oltp-rw ТОМ rows, 2.46, 1068 Buffer pool 


ALTER Время Время+зузБепсй 
force, algorithm=copy 1min57.71_1min 57.14 
force, algorithm=inplace 1 min 10.49 1min 50.40 


add Кеу(К), algorithm=copy Зтт 1.26 3min 5.96 

ада key(k), algorithm=inplace 20.72 вес 8.0.22-13 crash 
drop key k, algorithm=copy 2 тіп 10.81 2 тіп 6.89 
drop key К, algorithm=inplace 0.01 sec 0.01 sec 
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PERCONA ХТКАОВ CLUSTER И ONLINE DDL 


./апуаруег deploy 
node0 pxc 


nodel рхс galera-master:node0 
node2 рхс galera-master:node0 
QoS τος πω Se Pep oli Gio осы узш (Eur np 
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PERCONA XTRADB CLUSTER И ONLINE DDL 


pxc2> alter table sbtestl force; 
рхс0> show processlist^G 
KK ТАС ТАТ ТАУ БАС ТАТ ТАЗ ТАЗ ib lb dd» sub xb di dio dio dr dio ПАЗ ГАЗ АЗ РАЗ ГАЗ АЗ РАЗ ТО 2 КОМ K K K Kk ЈЕ ЈЕ ЈУ div, Је K KX X Је Јо div, dir, dir, dir di, dir, di Ж 


° 6 


s System user 


: Sbtest 
Command: Sleep 
Time: 7 
State: altering table 
Into: alter table sbtest! force 


| сад++ 
Весна 2021 


PERCONA ХТКАОВ CLUSTER И ONLINE DDL 


Хак ТАТ ТАЗ u Ke Ub K; КАЖА ТАТ ТАЗ ТАСТАН ТАЗ ТАТ 16 LOW ҚАЗ ТАЗ ТАС ТА κ ТАТ K K K Ж юю ΚΚ ΚΚ 


: 41 
3 POOT 
а рашке К-тосез. ха 35288 
: Sbtest 
Command: Execute 

Time: 2 

State: Waiting for table metadata lock 

Info: UPDATE sbtestl SET k-k-1 WHERE id-249905 
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PERCONA ХТКАОВ CLUSTER И ONLINE DDL 


ҒАТ о ТАР ТАЗ БАЗ ТАТ ТАС ТАР ТАР ТАУ ТАЯ Ба? ат ТАР БА? S ТАТ ТА τοῦ ТАР ТАР ТАР ТАЗ ТАТ ТА? τιν ТАР ТАТ ДЕСІ. том ТУ ЗА? ЗА? ЗА? ЗА? 547 ЭО ЗА? ЗА? ЗА? ТАҒ ЗА? ili ЗАР GAY ЗА? ТА? ЗА? ФА? ЗА? АУ ЗА? ТА 


Tele 42 
User:  КООЕ 
Hosts а та о κ ποσα dee» e 
db: sbtest 
Command: Execute 
Time: 2 
State: update 
ЕО INSERT INTO осе әш (ic, k, ©, Pac) VALUTO (49770, 


pxc0: mysql stmt execute() returned error 1412 N 
(Table definition has changed, please retry transaction) \ 
τος Query "UPDATE ΞΡΈΕΞΕΙ SET КЕКЕ МНЕВЕ ла-?! 


49847, 


7/3465953631-04726998262-983949612436-49298 
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PERCONA ХТКАОВ CLUSTER И ONLINE DDL 


° изгер 050 method-TOI блокирует запросы Ha соседних узлах 
е даже если выбрали RSU: 


рхс2> alter table sbtestl force, -ІМРІАСЕ, -МОМЕ; 


1845 (0A000): -МОМЕ is supported this operation το 


• Без Galera: 


sbtestl force, ALGORITHM-INPLACE, 


affected (1.74 sec) 
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./anydbver deploy N 
nodeO Sd У 


nodel 57 galera- 
node2 5ь 7 Galera- 


PERCONA XTRADB CLUSTER 5.7 И ONLINE DDL 


nodeO М 
noe 


ποθι», ове о о а Ні пос) евр зе бутель о 
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PERCONA XTRADB CLUSTER 5.7 И ONLINE DDL 


εμας, 2 ρε. ПО о ου ον ους pod ОА К И (по ο ο το и л О 
εἰαιος © мәсе О p 2202-51 ο ο аи са EI οὐ κ CO ii 53 02070 
ALTER TABLE 


pras 5. Ep А 5 Р (eps 0.00/0.00/0.00) Е Е ОЕ 0.00 tees en 200 reconn/ss 0.00 
ds NEEDS Е 5 А (ала бз 0.00/0.00/0.00) lar (ms 999) 0.00 err/ss -00 reconn/s:s 0.00 
πας MEE с πο ο ο ο ο ο lar (Пр, о - 0) reconn/s:s 0.00 


++ 


E High | оаа++ 


Весна 2021 


PERCONA XTRADB CLUSTER 5.7 И ONLINE DDL 


Sleep | 16 | altering table | alter table sbtestl force, ALGORITHM-INPLACE 


Execute | 16 | wsreps initiating 
pre-commit for write set (950) | СОММТТ 
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PERCONA XTRADB CLUSTER 5.7 И ONLINE DDL, RSU 


| 55. | πα» ое ие о Sio. Ὁ. 90 
[ [710 аас 2 мәз 52.50 jp 595.07 R u Ao τος О rí ο. о ее 
=== ALTER TABLE на nodel, sysbench на поае0 === 

jJ = КИ АЕ ο τροπο епови 051-201 (е πι ο τση OUO RID T AIT Фа ΞΕ (ШЕ, ο ο ο UNS AS -00 reconn/s s „© 


[ 
ІЛ nj е: 2 О о ОМ hi ES) Шен (Ше Ob ο UII „©© reconn/ 55 00 
ИЕБИ το 5.55 ο ο ο Е OIM. ο ο» (910 ее 


++ 


E High | оаа++ 
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PERCONA XTRADB CLUSTER 5.7 И ONLINE DDL, RSU, ТОТ ЖЕ УЗЕЛ ДЛЯ SYSBENCH 


И 12-5 homeless ο Θα 2400007 оа ПО ο ου т 


=== АҺТЕК TABLE Ha node0, sysbench на node0 === 
| 155 | r i yl ο без ο O0 Ea 3.55 О ОООО ο ЛО ΟΙ (ше. ее к е: 
155; | часы” рео О о ЕО ео о 


table table sbtestl force, ALGORITHM=INPLACE 


: waiting to replay write 
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PERCONA XTRADB CLUSTER 5.7 И ONLINE DDL, RSU, ТОТ ЖЕ УЗЕЛ ДЛЯ SYSBENCH 


Баније i “еее Л Db j, 

сев globali иво des ус ες 

alter table sbtestl force, ALGORITHM=INPLACE; 
ser о | were авая; 


| Query | 26 | altering table 
| Execute | 26 | wsrep: 
| Execute | 


| alter table sbtestl force, ALGORITHM-INPLACE 
waiting to replay write set (-1) | COMMIT 


25 | Waiting for table metadata lock 


| UPDATE sbtestl SET c=? WHERE id=? 
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MARIADB GALERA CLUSTER 


./anydbver deploy 
поде0 mariadb-cluster 
nodel mariadb-cluster galera-master:nodeO 


node2 mariadb-cluster galera-master:nodeO 
iocis τος = успио 
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MARIADB GALERA CLUSTER 


е 10.6.0 

e работает alter table зор ез 1 engine-innodb, ALGORITHM-INPLACE, 
LOCK=NONE ; 

• ТОЇ, разные узлы 


Command | 
table table sbtestl engine-innodb, ALGORITHM-INPLACE, ГОСК=МОМЕ 
replaying trx 
cleanup 
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MARIADB GALERA CLUSTER 


е RSU на другом узле: без блокировки 
е RSU на том же узле: СОММП ждет 


Мемела ОВА bi = | Ghi ΗΠ τει сс е лок; 


Магіарв [sbtest]> ALTER TABLE sbtestl ENGINE-innodb, ALGORITHM-INPLACE, ГОСК=МОМЕ; 
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INNODB CLUSTER 


./anydbver deploy N 
nodeO0 mysql D 
nodel mysql master:nodeO N 


node2 mysql master:nodeO N 
node3 mysql-router master:nodeO ^ 
το, реше те у бе и етек л е ο πο телуге 
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INNODB CLUSTER 


• B режиме single primary работает как отдельньи узел 
е Параллельная модификация в режиме Multi-Primary не поддерживается 
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INNODB CLUSTER 


е стадия 1 


Command | | State 


Query | 428 | altering Sbtestl engine=innodb, ALGORITHM-INPLACE, 


е стадия 2: исполнение ALTER на остальных узлах 


Command | Time | State 
Query | ΕΕ | waiting for sbtest1 , ALGORITHM-INPLACE, = 
с sbtest1 44902 45001 


| 2 | Waiting metadata 
| 2 | Waiting metadata sbtest1 c= 
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НЕДОСТАТКИ ONLINE DDL 


• He срабатьвает для INPLACE 
= при наличии уникальных ключей 
= удаления+создания записи 


1062 5 02 90/0 0) "νο НЕ псе женке ел у "257852 ^ suse dese τν. 


• плохо работает c Galera/InnoDB Cluster 
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KAK СДЕЛАТЬ ALTER TABLE C МИНИМУМОМ БЛОКИРОВОК? 


е копировать данные интервалами B теневую таблицу 
е параллельно менятьи старую и новую таблицу 

е поменять таблицы местами 

е все операции можно реализовать на 501 
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PT-ONLINE-SCHEMA-CHANGE 


е регі-скрипт, который использует 501 
е часто perl-DBD-MySQL собран со старой библиотекой mysql 
= для MySQL 8 нужен пользователь с пуза1 native password 


sbtest( 


mysql native password 


e как запустить? 


./pt-online-schema- -- » 


——alter 
D=sbtest,t=sbtestl,u=sbtest,p=secret 
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PT-ONLINE-SCHEMA-CHANGE 


нужны metadata lock при создании триггеров 


Command | Time | State 


| 4 | Waiting metadata | sbtest1 49988 50087 
| & | | 


отслеживает задержки при асинхроннои репликации 
может работать с FOREIGN KEYS 
не работает на репликах 
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GH-OST 


е изменения таблицы можно взять из binary log 


gh-ost --execute N 
--allow-on-master N 


--user-root --password-secret N 
--дагараве sbtest --table sbtesti М 
--alter- -—-chunk-size-2000 
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GH-OST 


работает без триггеров 

читает binary log в формате ROW 

копирует данные на мастере в теневую таблицу 
применяет изменения к теневои таблице 
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НЕДОСТАТКИ GH-OST 


не работает c шифрованным binary log 
не работает c Galera 

не работает c триггерами 

нет FOREIGN KEYS 
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ПРЕИМУЩЕСТВА ONLINE DDL 


с каждои мажорнои версией MySQL улучшается 
минимально используется диск (1x или 2x, но He 2x*1x(binary log)) 
алгоритм INSTANT — идеальный вариант 
покрывает большую часть разумных изменений базы 
= индексы 
= новые колонки 
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ПРЕИМУЩЕСТВА PT-ONLINE-SCHEMA-CHANGE И GH-OST 


e альтернатива Online DDL 

е возможность снижения скорости копирования по условию 
= большая нагрузка 
= отстают реплики 

е pt-online-schema-change: работает с Galera/PXC 
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ВОПРОСЫ 


2??? 
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